政策梯度方法被广泛用于学习控制政策。它们可以轻松地分配给多名工人,并在许多领域中达到最新结果。不幸的是,它们表现出很大的差异,随后遭受了高样本的复杂性,因为它们在整个轨迹上汇总了梯度。在另一个极端情况下,计划方法,例如树木搜索,使用考虑未来LookAhead的单步过渡来优化策略。这些方法主要用于基于价值的算法。基于计划的算法需要一个正向模型,并且在每个步骤上都是计算密集型的,但更有效。在这项工作中,我们介绍了SoftTreemax,这是将树搜索整合到策略梯度中的第一种方法。传统上,针对单个状态行动对计算梯度。取而代之的是,我们基于树的策略结构在每个环境步骤中利用树叶的所有梯度。这使我们能够将梯度的差异减少三个数量级,并与标准策略梯度相比,从更好的样本复杂性中受益。在Atari上,与分布式PPO相比,SoftTreemax在运行时的表现高达5倍。
translated by 谷歌翻译